Это гостевой пост нашего спонсора - компании ИТ-ГРАД, предоставляющей услугу аренды виртуальных машин из облака. Сегодня мы поговорим о vRealize Automation. Статья ориентирована на пользователей, которые ранее не сталкивались с этим решением, поэтому под катом мы познакомим вас с его функциями и поделимся сценариями использования...

В начале октября этого года прошла конференция VMworld 2020, которую компания VMware впервые провела исключительно в онлайн-формате. Там было сделано много интересных анонсов, главные из которых - это развитие экосистемы поддержки контейнеризованных приложений и расширение продуктовой линейки для автоматизации облачных инфраструктур.

Сегодня мы поговорим о второй части - решении VMware vRealize AI Cloud, которое предназначено для автоматического повышения эффективности использования хранилищ в рамках концепции самооптимизирующегося датацентра.

Эту концепцию вендоры различных ИТ-платформ продвигают уже давно. Ее суть заключается в том, что решения в рамках датацентра будущего (как программные, так и аппаратные) должны самостоятельно отслеживать изменяющиеся метрики среды, в которой они работают, после чего автоматически вносить коррективы в конфигурации для максимально эффективного функционирования инфраструктуры в целом.

Еще одним трендом VMware считает развитие гибридных инфраструктур, которые будут строить крупные компании. В гибридной среде важна унификация процедур управления и технических инструментов, над чем VMware работает уже давно (например, в этой парадигме построено решение Cloud Director 10.2).

Так вот, в гибридной среде у каждого онпремизного решения должны быть его облачные аналоги, но должны быть и чисто облачные инструменты, которые как раз делают датацентр самооптимизирующимся, поскольку за это отвечает вендор платформы. Одним из таких инструментов и стало решение vRealize AI Cloud:

vRealize AI Cloud поставляется вместе с решением vRealize Operations Cloud в рамках подписки vRealize Cloud Universal. За счет использования алгоритмов машинного обучения этот продукт позволяет адаптироваться к изменяющимся условиям в характере нагрузок и проводить постоянную оптимизацию использования хранилищ (а именно улучшая конкретные KPI, вроде пропускной способности или latency).

Сейчас эта технология работает только с хранилищами vSAN, но потенциально нет никаких препятствий для VMware открыть ее и для других облачных хранилищ.

Как видно из картинки выше, vRealize AI Cloud генерирует и применяет настройки для оптимизации работы с хранилищами, а также дает администратору инструменты для отслеживания производимых изменений и средства мониторинга измеренных количественных улучшений.

Консоль vRealize AI Cloud предлагает администратору решения 4 блоков задач:

• Оптимизация производительности в кластере
• Оптимизация емкости хранилищ
• Решение проблем разного характера, в зависимости от типа объекта
• Анализ конфигураций объектов и управление ими

Если перейти на уровень виртуальных датацентров, администратор видит те из них, где оптимизация кластеров уже включена (зелено-синий цвет), и те, где выключена, причем для обоих вариантов показано, на сколько процентов можно улучшить количественные метрики:

Можно провалиться на уровень кластера (выбрав соответствующую точку в периметре) и увидеть определенные хосты ESXi, где могут быть проведены оптимизации:

В частности мы видим в реальном времени поток оптимизаций (верхняя строчка), а также основные параметры производительности справа - latency и пропускную способность:

Раскрыв уровень оптимизаций, можно увидеть, какие конкретно настройки и в какое время были изменены. В данном случае был уменьшен размер кэша, поскольку AI Cloud предположил, что это улучшит write latency на 25%:

Конечно же, предположения могут не оправдаться, и тогда AI Cloud откатит настройку, чтобы убедиться, что хуже KPI не стали.

В потоке действий AI Cloud мы четко видим таймлайн изменений и детальные графики производительности на уровне каждого из выбранных хостов:

Если AI Cloud не включен в кластере, то будет рассчитан примерный потенциал оптимизаций, который, на самом деле, представляет собой довольно серьезные цифры, поэтому вполне имеет смысл хотя бы включить и попробовать AI Cloud в деле:

Когда вы включаете этот движок, вы можете выбрать степень агрессивности работы алгоритма оптимизаций:

Консервативный режим всегда оставляет запас по производительности и емкости при выполнении рекомендаций по оптимизации, а агрессивный - действует весьма смело. Как всегда, начинать нужно с консервативного режима и потом потихоньку увеличивать степень. После включения механизма AI Cloud начнется процесс обучения системы паттернам нагрузок, только после чего уже начнется генерация и применение рекомендаций.

В среднем, по тестам VMware, оптимизации хранилищ vSAN могут достигать 60% за счет использования движка AI Cloud. Например, по тестам Rackspace в 4-узловом кластере хранилищ улучшения полосы пропускания на запись (write-throughpu) составили 18%, а уменьшение задержек находилось на уровне 40%-84%.

Также AI Cloud тесно интегрирован с политиками хранилищ SPBM (Storage Policy Based Management). Настройки этих политик также влияют на производительность - например, можно отключить дедупликацию, и это существенно улучшит производительность хоста за счет уменьшения нагрузки на CPU и хранилища:

В целом, решение vRealize AI Cloud - это шаг вперед в реализации концепции самооптимизирующихся датацентров в разрезе хранилищ. Будем надеяться, что решение уже скоро будет доступно в облачных инфраструктурах сервис-провайдеров VMware Cloud.

Также на конференции VMworld Online 2020 компания VMware показала, как именно будет выглядеть решение vRealize AI Cloud:

И несколько интересных моментов можно найти в записях сессий VMworld 2020 (ищите их там по коду сессии):

• ETML1760 – VMware vRealize AI and the ML Drivers of the Self-Driving Data Center
• HCMB1761 – Transform your HCI Datacenter Operations with vRealize Operations Cloud and vRealize AI Cloud
• HCMB2357 – Executive Session #1: The Cloud Management of Tomorrow, as Seen From the CTO’s Office
• HCMB1311 – Executive Session #2: Two steps Ahead of the Future, the VMware Cloud Management Roadmap

Wolfgang Taitl в своем блоге обратил внимание на серьезную проблему, касающуюся некоторых NFS-хранилищ и процесса создания резервных копий виртуальных машин на VMware ESXi. Это известная проблема.

Суть ее заключается в том, что при удалении снапшота ВМ, по завершении ее резервного копирования, она замирает примерно на 30 секунд, не принимая никакой ввод-вывод. Происходит это на некоторых NFS-хранилищах, в частности HPE SimpliVity. В итоге - приложения, чувствительные ко времени, работают плохо, ну и в целом такое поведение не очень приятно для производственных систем.

Проблема проявилась при использовании платформы VMware vSphere 6.7, текущей версии Veeam Backup and Replication и хранилища HPE SimpliVity, которое поддерживает презентацию томов только в режиме NFS v3.

При этом в такой же комбинации продуктов, но на блочных хранилищах удаление снапшота занимало 1-2 секунды.

После общения с поддержкой нашлись следующие workaround'ы, которые не подошли:

• Использовать NFS v4 вместо v3 (доступно не на всех хранилищах)
• Использовать другой транспорт (transport mode), например, Direct access или NBD (Network Block Device). Но Direct access доступен не всегда, а NBD - медленный режим.
• Можно использовать режим hot-add с виртуальным модулем backup appliance, но тогда он должен быть на каждом хосте (см. KB 201095).
• Можно отключить синхронизацию времени с хостом для ВМ с приложениями, которые страдают из-за замирания времени в гостевой ОС. Об этом можно почитать в KB 1189. Но это так себе решение.

На текущий момент получается, что это проблема именно VMware ESXi, см. статью KB 2010953. Также она описана и в базе знаний Veeam - KB 1681 (там же указаны и обходные пути). Таким образом, выходит, что в некоторых случаях ни одно из решений не подходит на 100%.

Пару недель назад компания VMware анонсировала обновление своей платформы Cloud Director 10.2, предназначенной для создания интегрированной среды сервис-провайдеров, предоставляющих виртуальные машины в аренду своим клиентам. Напомним, что о прошлой версии vCD 10.1 мы писали в мае этого года вот здесь.

Ну а на прошедшем VMworld новым возможностям была посвящена сессия HCPS2407 (по этому тексту ее и нужно искать тут):

Давайте посмотрим, что появилось нового в vCD 10.2. Основные области нововведений представлены на картинке:

1. Единая инфраструктура для гибридной среды

Компания VMware делает ставку на то, что крупные компании будут строить гибридные инфраструктуры из собственных площадок и ресурсов сервис-провайдеров, поэтому теперь VMware Cloud Director on-premises и службы VMware Cloud Director в VMware Cloud on AWS имеют единую базу кода, то есть представляют собой один базовый продукт.

Соответственно, и администраторы, и клиенты облака могут управлять инфраструктурой в любом облаке, действуя в единой гибридной среде в рамках предоставленных полномочий.

2. Глобальная доступность VMware Cloud Director 

В четвертом квартале 2020 года ожидается, что службы VMware Cloud Director будут доступны по всему миру, включая наш с вами регион EMEA. При этом администраторы смогут управлять инстансами в разных регионах, если будет выполнено основное условие по latency<150 миллисекунд между площадками.

3. Улучшенная интеграция NSX-T со службами Network & Security

NSX-T в связке с Cloud Director будет предоставлять следующие возможности в облачной инфраструктуре:

• Поддержка распределенного сетевого экрана L4-7 и расширенных функций, таких как VRF lite.
• Улучшения интерфейса, которые позволят растягивать сеть между несколькими виртуальными датацентрами на разных площадках, что позволит применять политики распределенного фаервола к гибридным окружениям.
• Сети клиентов от собственного датацентра к сервис-провайдеру можно будет соединить по layer 2 VPN, вне зависимости от онпремизной версии NSX (NSX-V или NSX-T).
• NSX Advanced Load Balancer (он же Avi Networks Load Balancer) заменит нативный балансировщик NSX-T Load Balancer в издании NSX-DC Base Edition. Это также даст такие возможности, как WAF, DNS, SSL Termination, rate-limiting и другие в решении NSX ALB Enterprise edition.

4. Улучшения в поддержке Kubernetes

В этой сфере появится два основных нововведения:

• Службы Containers as a Service with Tanzu - теперь в Cloud Director будет интегрировано решение VMware vSphere with VMware Tanzu, что позволит сервис-провайдерам производить оркестрацию кластеров K8s прямо из нативных средств управления vSphere и vCD. Для развертывания контейнерных сред можно будет использовать Container Service Extension 3.0, который дает функции по управлению жизненным циклом всех типов кластеров через Cloud Director Cluster API, CLI и Container Service Extension-CLI, а также плагин в графическом интерфейсе.
• Новое средство Cloud Director App Launchpad 2.0, которое позволит клиентам облаков использовать приложения и не думать о нижележащей инфраструктуре. Сервис-провайдеры смогут предложить маркетплейс для пользователей, где они смогут выбрать приложения (на базе контейнеров или виртуальных машин). Вторая версия лончпада поддерживает Container Service Extension 3.0, что позволит пользователям запускать приложения в инфраструктуре Org VDC или кластере K8s автоматически. Будут поддерживаться и кастомные приложения, а также будет реализована тесная интеграция с VMware Cloud Marketplace, что позволит, например, автоматически синхронизировать приложения с выходом их новых версий.

5. Упрощенные функции развертывания Cloud Director

Теперь vCD будет развертываться с помощью переработанного мастера, а также производить внутреннюю проверку на ошибки. Также будет проверяться ввод пользовательских данных и проводиться автоматические бэкапы при установке.

6. Улучшения гибкости и повышение эффективности хранилищ

• Cloud Director 10.2 будет интегрирован с конфигурациями vSphere Storage Policy-based IOPS, что позволит настраивать Storage I/O Control для ресурсов Storage I/O на базе отдельных ВМ из административного интерфейса
• Можно будет использовать shared disks для кластеров Microsoft и Oracle, а также персистентных томов.
• Object Storage Extension (OSE) 2.0 будут позволять клиентам управлять их сервисом AWS S3 через OSE.
• Также OSE 2.0 будет предоставлять поддержку Cloudian 7.2 и Dell ECS 3.4.
• В портале для клиентов будет множество улучшений (например, Guided Tours для обращения внимания на предлагаемые сервисы и фичи), нотификаторы для разных ситуаций (Advisories), а также функции поиска Quick Search.

7. Расширенное предоставление информации клиентам об их облаках

Приложение для клиентов vRealize Operations Tenant App 2.5 будет улучшено в самых разных аспектах, включая поддержку Container Service Extension Kubernetes Clusters, что позволит получать больше информации о приложениях в контейнерах. Также будут предоставлены широкие возможности по созданию и кастомизации отчетов об инфраструктуре. Кроме того, можно будет кастомизировать email-оповещения для клиентов с учетом их потребностей.

Доступность VMware Cloud Director 10.2 ожидается до конца четвертого квартала этого года, следите за новостями.

Недавно компания VMware объявила о доступности для загрузки новой версии фреймворка для управления виртуальной инфраструктурой с помощью сценариев PowerCLI 12.1. Напомним, что о прошлой мажорной версии PowerCLI 12, вышедшей в апреле этого года, мы писали вот тут.

Давайте посмотрим, что нового появилось в PowerCLI 12.1:

• Несколько новых командлетов было добавлено в модуль VMware.VimAutomation.WorkloadManagement
  • Get-WMCluster
  • Set-WMCluster
  • Enable-WMCluster
  • Disable-WMCluster
• Несколько новых командлетов для vSphere Lifecycle Manager (vLCM) было добавлено в модуль VMware.VimAutomation.Core (подробнее тут)
  • Get-LcmImage
  • Test-LcmClusterCompliance
  • Test-LcmClusterHealth

Вот пример работы Get-LcmImage:

• В модуле VMware.VimAutomation.Core было сделано несколько улучшений, включая новые параметры для командлетов New-Cluster и Set-Cluster, а также New-ContentLibraryItem и Set-ContentLibraryItem. Также были несколько обновлены параметры командлетов New-VM/Set-VM, New-Datastore, New-HardDisk и Get-NetworkAdapter/Get-VirtualNetwork
• Несколько новых командлетов было добавлено в модуль VMware.VimAutomation.Vmc:
  • Get-VmcClusterEdrsPolicy
  • Set-VmcClusterEdrsPolicy

• Обновлен модуль VMware.VimAutomation.Vmc:
  • Улучшен командлет New-VmcSddc (добавлены параметры SddcAppliancesSize, StretchedCluster, HostType)
  • Добавлен параметр Cluster в командлеты Add-VmcSddcHost и Remove-VmcSddcHost
  • Свойства VCenterHostName и VCenterCredentials  добавлены объекту SDDC
• В модуле VMware.VimAutomation.Storage появилось несколько новых командлетов для управления безопасной очисткой дисков vSAN, томами Cloud Native Storage и контейнерами VVols:
  • Start-VsanWipeVsanDisk
  • Get-VsanWipeDiskState
  • Stop-VsanWipeVsanDisk
  • Get/New/Set/Remove-CnsVolume
  • New-CnsContainerCluster
  • New-CnsKubernetesEntityReference
  • New-CnsKubernetesEntityMetadata
  • New-CnsVolumeMetadata
  • Add-CnsAttachment
  • Remove-CnsAttachment
  • Get-VvolStorageContainer
• Улучшения модуля VMware.VimAutomation.Storage:
• Командлеты Set-VsanClusterConfiguration и Get-VsanClusterConfiguration теперь поддерживают режимы "vSAN compression only mode" и "vSAN enforce capacity reservation"
• Get-VsanSpaceUsage более гранулярно показывает статистику свободного пространства
• Командлеты Get-VasaStorageArray и Get-VasaProvider теперь могут фильтровать VASA providers по контейнерам VVols
• Моуль VMware.VimAutomation.Security был существенно обновлен:
• Добавлен командлет Get-TrustedClusterAppliedStatus для получения примененного статуса доверенных сервисов в доверенных кластерах
• Добавлен командлет Set-TrustedCluster для ремедиации кластера в состоянии "not healthy"
• Улучшены командлеты New-TrustAuthorityKeyProvider, Set-TrustAuthorityKeyProvider, Add-TrustedClusterAttestationServiceInfo, Add-TrustedClusterKeyProviderServiceInfo, Remove-TrustedClusterKeyProviderServiceInfo, Remove-TrustedClusterAttestationServiceInfo
  
• Добавлен командлет Disconnect-Vcs в модуль VMware.CloudServices для отключения от сервера VMware Cloud Services
• Модуль VMware.Vim теперь содержит API-байндинги для vSphere 7.0 Update 1
• Модуль VMware.VimAutomation.Srm обновлен в целях поддержки VMware Site Recovery Manager 8.3.1
• Модуль VMware.VimAutomation.HorizonView обновлен в целях поддержки VMware Horizon 7.13
• Модуль VMware.VimAutomation.Hcx обновлен в целях возможности настройки VMware Cloud Director как таргета для миграции HCX OS Assisted
• Командлет Wait-HCXJob теперь лучше получает статус Update-HCXSentinel

Скачать VMware PowerCLI 12.1 можно по этой ссылке, там же доступна и документация.

Многим из вас знакомы продукты компании StarWind, предназначенные для создания отказоустойчивых хранилищ под различные платформы виртуализации. Одним из лидеров отрасли является решение StarWind Virtual SAN, у которого есть множество функций хранения, обеспечения доступности и защиты данных. А сегодня мы поговорим еще об одном бизнесе компании StarWind - программно аппаратных комплексах для специальных задач...

Недавно мы писали о новых возможностях платформы виртуализации VMware vSphere 7 Update 1, а также решения для создания отказоустойчивых хранилищ на базе хостов VMware vSAN 7 Update 1. В статье о vSAN мы упоминали о том, что VMware расширяет службы vSAN Native File Services за счет поддержки протокола SMB. Он интегрирован с Microsoft Active Directory и поддерживает аутентификацию Kerberos. Давайте посмотрим на эти возможности подробнее.

Во-первых, начнем с небольшого обзора от Дункана Эппинга:

Поддержка протокола SMB была введена в vSAN не просто так - целью была поддержка постоянных томов read-write many (RWM) volumes для cloud native applications (то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes). Для доступа поддерживаются хранилища SMB версий v2.1, так и v3 (SMB v1 находится в статусе Deprecated).

SMB-хранилища, создаваемые в vSAN, могут быть доступны из Windows-клиентов (версии 8/2012+) и Mac-клиентов (OS 10 и позднее). Это, совместно с поддержкой Active Directory, делает SMB-хранилища отличным вариантом для:

• VDI-сценариев, где пользователи предпочитают перенаправление каталога user/home на выделенную файловую шару.
• Файловые ресурсы, обслуживающие различные топологии (например, удаленные офисы или филиалы), могут управляться напрямую из vSAN, без необходимости иметь отдельную ВМ для предоставления общего доступа к папкам.

Файловые шары видны через Windows MMC, где администраторы могут: 

• Смотреть число клиентских соединений к шаре
• Смотреть число открытых файлов
• Управлять разрешениями и безопасностью (в стиле NTFS)
• Закрывать клиентские соединения
• Закрывать открытые файлы

Как мы писали выше, поддерживается и протокол аутентификации Kerberos, который предотвращает доступ NFS-клиентов через более уязвимые методы доступа, такие как auth_sys. vSAN поддерживает 3 модели аутентификации:

• KRB5, который проводит только безопасную аутентификацию (только на NFS v4.1)
• KRB5I, включая аутентификацию и проверку контрольных сумм
• KRB5P, включая аутентификацию, проверку контрольных сумм и шифрование

Надо отметить, что несмотря на то, что VMware vSphere 7 U1 поддерживает кластеры до 64 хостов, службы Native File Services поддерживают доступ до 32 хостов к файловым шарам.

Теперь службы Skyline Health (ранее это называлось "vSAN Health") содержат дополнительные хэлсчеки, включая file server health и share health:

Тут есть три основных типа проверок:

• Проверки Infrastructure health checks - развернута ли машина FSVM и демон VDFS, а также есть ли файловая система root на хосте. Если чего-то из этого нет, то проверка показывает красный сигнал.
• Проверки File Server Health checks показывают, все ли в порядке с файловым сервером на отдельных хостах, и есть ли там файловая система root. Если что-то из этого не в порядке - показывается красный сигнал.
• Проверки Share Health отвечают за статус объектов файловых шар. Если служба протокола не работает для данного объекта, то показывается красный сигнал. Также могут быть оповещения для шар - и тогда будет желтый.

Для файловых шар SMB появился мониторинг производительности в интерфейсе vSAN UI. Можно смотреть за пропускной способностью (throughput), IOPS, задержками (latency) на уровне отдельной шары в реальном времени. Можно увеличивать временное окно просмотра для отдельных метрик. Также эти метрики доступны через API, поэтому такие продукты, как vRealize Operations также будут их использовать.

Доступную емкость SMB-хранилищ можно отслеживать через vSAN Capacity view:

Если вы нажмете на ссылку File shares overview в левом нижнем углу, то сможете открыть просмотр емкости на уровне отдельных шар. На картинке ниже представлен микс из SMB и NFS хранилищ, столбики в Usage/Quota показывают жесткие аппаратные квоты с цветовым кодированием заполненности:

Ну и напоследок небольшой обзор VMware vSAN File Services от VMware:

Компания VMware анонсировала новую версию платформы для создания отказоустойчивых хранилищ для виртуальных машин VMware vSAN 7.0 Update 1. Напомним, что о прошлой версии vSAN 7 мы писали вот тут.

Данная версия vSAN сфокусирована на функциях по обеспечению эффективности датацентра, которые нацелены на увеличения возврата инвестиций в оборудование и программное обеспечение:

Новые возможности VMware vSAN 7 U1 можно разделить на 3 категории:

• Эффективность и производительность
• Упрощение операций с инфраструктурой хранения
• Интеграция с облачной инфраструктурой

1. Технология HCI Mesh

Главная из новых возможностей - это технология VMware HCI Mesh, которая позволяет смонтировать датасторы удаленного кластера vSAN (который выступает в роли "сервера" для кластеров-клиентов):

В такой схеме можно использовать несколько кластеров-клиентов для монтирования датастора, но надо соблюдать правило доступа: не более 64 хостов ESXi к одному датастору, включая хосты серверного кластера.

В такой конфигурации можно делать vMotion виртуальных машин между кластерами vSAN, но хранилище (Storage vMotion) при этом перемещать нельзя.

Также в топологии HCI Mesh можно использовать подход Full Mesh, когда один и тот же кластер выступает и клиентом, и сервером:

Подход Full Mesh позволит вам сбалансировать потребление емкости кластеров хранилищ. При этом есть ограничение: каждый серверный кластер может экспортировать не более 5 датасторов для клиентских кластеров, а каждый клиентский - монтировать не более 5 датасторов серверных кластеров.

Особенности технологии HCI Mesh:

• Минимальное число узлов кластера-клиента и кластера-сервера - 2 узла
• Технически Compute-only vSAN cluster (без своих датасторов) сейчас работает, но не рекомендуется к использованию и не поддерживается
• Поддерживается одновременное использование хранилищ Hybrid (SSD+HDD) и All-Flash одновременно

Небольшой обзор технологии:

2. Поддержка SMB для vSAN Native File Services

VMware расширяет службы vSAN Native File Services за счет поддержки протокола SMB. Он интегрирован с Microsoft Active Directory и поддерживает аутентификацию Kerberos. Таким образом, vSAN теперь поддерживает NFS (версии 3 и 4.1) и SMB.

3. Шифрование vSAN Data-in-Transit Encryption

Теперь в vSAN 7 Update 1 есть возможность шифрования при передаче данных между узлами кластера по протоколу TCP с использованием крипто-модуля FIPS-2. При этом вам не потребуется использовать Key Management Server (KMS).

Также надо отметить, что одновременное использование HCI Mesh и Data-in-Transit Encryption не поддерживается.

4. Техника SSD Secure Erase

В vSAN 7 Update 1 появился надежный способ удаления данных с SSD-дисков. Пока это поддерживается только для оборудования Dell и HPE. Например, это можно будет использовать для готовых серверных узлов vSAN Ready Nodes и комплектов DellEMC VxRail.

5. Общая оптимизация производительности

Как и всегда, VMware проводит работу над улучшением vSAN в контексте производительности. Заявляется, что vSAN 7 Update 1 работает примерно на 30% быстрее при выполнении операций, чем vSAN 6.7 U3 (который до этого был самым производительным).

6. Возможность использования компрессии без дедупликации

Ранее vSAN позволял использовать две этих технологии только вместе, а сейчас можно использовать только сжатие данных, не нагружая вычислительные ресурсы движком дедупликации. Теперь технология работает так:

Дедупликация

• На уровне дисковой группы
• Работает при дестейджинге данных на capacity tier
• Работа с фиксированными блоками 4 КБ

Компрессия

• Работает после дедупликации, но до того, как данные дестейджатся
• Если блок можно сжать до 2 КБ или менее, то он сжимается
• Иначе сохраняется блок 4 КБ

Компрессия работает значительно быстрее дедупликации, поэтому ее отдельно удобно использовать для OLTP-нагрузок.

7. Функция Enhanced durability при выполнении операций обслуживания

Если хост ESXi находится в режиме обслуживания (maintenance mode), то vSAN теперь имеет механизм защиты данных, которые в этот период находятся только в одном экземпляре (у них был задан failures to tolerate равный 1, а а хост перевели в режим обслуживания - и теперь есть только одна активная реплика данных).

В таком случае vSAN понимает, что у вас был FTT=1, и на время обслуживания все операции записи начинает дублировать на выделенный хост для delta writes, чтобы вы не потеряли данные во время отказа хоста с единственной копией данных:

При выходе хоста ESXi из режима обслуживания происходит обновление его данных с временного хранилища, после чего оно высвобождается для дальнейшего использования. Интересно, что для этих целей можно использовать и witness-хост.

Данный механизм можно использовать как для RAID Mirroring, так и для Erasure Coding.

8. Быстрая перезагрузка и ускоренный апгрейд кластеров

• Существенное ускорение апгрейда кластеров за счет более быстрой перезагрузки хостов
• Метаданные хоста записываются на диск перед перезагрузкой и восстанавливаются в память после загрузки - это ускоряет актуализацию метаданных
• Как результат - хосты загружаются до 5 раз быстрее

9. Общий witness-хост для нескольких кластеров

Это очень удобно для ROBO-инсталляций. vSAN 7 Update 1 поддерживает до 64 кластеров в двухузловых конфигурациях с общим witness для ROBO-сценариев (это решения для удаленных офисов и филиалов - Remote or Branch Offices).

10. Оптимизация всегда доступной емкости (Slack Space)

По рекомендациям VMware нужно было всегда держать 25-30% свободной емкости хранилищ в кластере. Это называлось Slack Space. Теперь это называется Reserved Capacity, и ее необходимый объем зависит о числа узлов в кластере (чем меньше узлов - тем меньше емкость), например:

• 12 node cluster = ~16%
• 24 node cluster = ~12%
• 48 node cluster =~ 10%

Эта емкость нужна для:

• Операций Resync при изменении политик, ребалансировке, перемещении данных (Operations Reserve)
• Активностей Rebuild при отказах хранилищ и хостов (Host Rebuild Reserve)

Надо понимать, что Reserved Capacity предотвращает только развертывание новых виртуальных машин, но не затрагивает ввод-вывод уже имеющихся.

Также Reserved Capacity - это опциональный механизм, который не включен по умолчанию:

Функция vSAN Reserved Capacity не поддерживается для растянутых кластеров и двухузловых конфигураций.

11. Улучшения vSphere Lifecycle Manager (vLCM)

Еще в vSAN 7 поддерживались узлы Dell и HPE для решения vLCM, теперь же к ним добавилось и оборудование Lenovo ReadyNode.

Сам vLCM получил следующие улучшения:

• Работа с vSAN Fault Domains, двухузловыми конфигурациями и растянутыми кластерами (Stretched Clusters)
• Предпроверки Hardware compatibility pre-checks
• Параллельное обновление кластера до 64 хостов
• Поддержка окружений с NSX-T 3.1

12. Упрощенная маршрутизация для некоторых топологий

Раньше для топологии vSAN с внешним witness должны были иметь статическую маршрутизацию. Теперь в vSAN 7 Update 1 можно добавить шлюз по умолчанию и не прописывать статические маршруты:

13. Утилита vSAN I/O Insight

С помощью этого средства можно анализировать I/O-паттерны для анализа рабочих нагрузок в кластере. Это утилита, встроенная в vSphere Client, в которой доступен большой набор паттернов метрик и гистограмм для анализа таких вещей, как R/W ratio, Seq/Random ratio, 4K aligned / unaligned ratio, IO size distribution.

Все это позволяет не пользоваться сторонними утилитами для решения узких проблем, а понимать их природу прямо из vSphere Client:

14. Улучшения сервисов для Cloud native applications

• Платформа vSAN Data Persistence - это новый фреймворк для партнеров, который позволяет интегрировать информацию о приложениях для операционных задач через API.
• SAN Direct Configuration - это альтернативный способ для прямой интеграции сервисов с хранилищами vSAN.
• Улучшения интеграции с vSphere with Tanzu за счет расширений для томов гостевых кластеров TKG, а также получения информации о состоянии томов TKG supervisor и guest.

Доступность для загрузки VMware vSAN 7 Update 1 ожидается в самое ближайшее время, следите за нашими новостями.

В конце августа компания VMware объявила о скором выпуске решения vRealize Operations 8.2, предназначенного для управления и мониторинга виртуальной инфраструктуры. Напомним, что о прошлой версии vROPs 8.1 мы писали вот тут.

В новой версии vROPs 8.2 появилось очень много всего нового, особенно связанного с созданием единой инфраструктуры для управления и мониторинга виртуальных машин и контейнеров из единой консоли. Давайте посмотрим на все это вкратце:

1. Функции Application-Aware Troubleshooting

В vROPs в последнее время быстро развиваются возможности для мониторинга инфраструктуры приложений в виртуальных машинах и контейнерах за счет пакетов Application Performance Management (APM) management packs. Это позволяет дополнить средства мониторинга компонентов инфраструктуры точными метриками, получаемыми от приложений.

Вот так выглядят средства обнаружения приложений и их параметров в решении vRealize Network Insight в виртуальном датацентре, которые далее передаются в vRealize Operations:

vRNI обнаруживает приложения и их взаимосвязи через анализ сетевых потоков, что отлично дополняет инфраструктурный метод обнаружения со стороны vROPs.

Еще одно важное улучшение в этой категории - опция "near real-time monitoring", что позволяет собирать данные в 15 раз чаще, что близко к режиму реального времени:

2. Улучшения поддержки Kubernetes

Главное улучшение vRealize Operations 8.2 - это возможности автоматического обнаружения гостевых кластеров Tanzu Kubernetes:

Второе важное улучшение - это интеграция с Prometheus через специальный адаптер, который используется большинством разработчиков для сбора метрик с инфраструктуры кластеров Kubernetes.

Ну и Management Pack for Container Monitoring теперь переименован в "Management Pack for Kubernetes".

3. Интеграции с внешними системами

Помимо более глубокой интеграции с vRNI, решение vROPs 8.2 поддерживает целую экосистему интеграции с внешними системами и облачными технологиями. Это лучше всего иллюстрируется картинкой (интеграции доступны через соответствующие Management Packs):

Тут можно отметить следующие моменты:

• Management Pack for AWS будет включать в себя аналитику емкостей EC2
• В VxRail появится 140 новых алертов
• Существенно обновятся пакеты для SNMP, NSX-T и Skyline
• Новый management pack для Flowgate (о нем мы писали вот тут)
• vRealize Operations management pack for Horizon будет доступен только для vRealize Operations Cloud

Ну и в vROPs появятся средства True Visibility Suite от купленной компании Blue Medora, теперь они будут называться vRealize True Visibility Suite. Более подробная информация об этом появится чуть позже.

4. Простота использования

Во-первых, был существенно упрощен рабочий процесс управления политиками, с которым теперь значительно удобнее работать в интерфейсе vROPs 8.2. Все операции доступны в контексте выбранных объектов:

Во-вторых, был существенно переработан стартовый дэшборд, на котором теперь можно более интуитивно найти действия для выполнения задач:

Идея состоит в том, чтобы разделить объекты и рабочие процессы. Также разделы теперь категоризированы по типу возникающей задачи траблшутинга (доступность, нехватка ресурсов и т.п.) и разделены на уровне провайдера услуг и пользователей сервисов (ВМ и приложения):

5. Прочие улучшения

Тут можно отметить следующие наиболее важные вещи:

• Интеграция с vRealize Automation (Cloud и 8.2)
• Оценка потенциала оптимизации рабочих нагрузок (прогноз результата)
• Скачиваемые отчеты об оптимизации рабочих нагрузок (workload optimization reports)
• Поддержка назначения цен для всех нагрузок (а не только vRealize Automation) с кастомизируемыми ставками
• Оценка затрат на уровне отдельных дней
• Улучшения в движке оценки стоимости ресурсов
• Метрики AWS CloudWatch API для гостевых ОС
• Увеличен масштаб для оценки корреляции метрик
• Новые страницы информации для vSAN
• Упрощенные представления контента (с функциями импорта и экспорта), а также простые представления настроек
• Кастомные шаблоны комплаенса для vRealize Operations Cloud
• Поддержка Cloud Director Service для vRealize Operations Cloud
• Новый регион Sydney для vRealize Operations Cloud
• vRealize Operations Cloud доступен на VMware Cloud Provider Hub

О доступности для загрузки VMware vRealize Operations 8.2, скорее всего, будет объявлено на предстоящем VMworld Online 2020.

Вчера мы писали про анонс новой версии настольной платформы виртуализации VMware Workstation 16, а одновременно с этим было объявлено и о выходе настольного продукта для Mac OS - VMware Fusion 12. Напомним, что этот продукт был в статусе технологического превью Fusion Tech Preview 20H1 с начала этого года.

Первое, что надо отметить - это изменения цен. Вместо $159 за Pro-версию теперь придется отдать $199:

Версии Fusion Standard за $79 больше нет, вместо нее пришел на смену продукт Fusion Player (с теми же функциями), который стоит $149:

Но самый большой плюс заключается в том, что VMware Fusion Player 12 полностью бесплатен для личного использования (не на работе). Смысл этого издания в том, что оно аналогично Workstation Player на платформах Windows и Linux.

Давайте посмотрим, что нового появилось в VMware Fusion 12:

VMware сделала множество оптимизаций для новой версии macOS Big Sur - как для гостевой, так и для хостовой ОС. Архитектура Fusion также подверглась изменениям, чтобы соответствовать новой структуре Apple hypervisor API. Теперь нет необходимости в kernel extensions, чтобы запускать Fusion, что делает платформу более безопасной.

Также Fusion 12 будет полностью поддерживать macOS Catalina при доступности для загрузки, а также сразу будет совместима и с Big Sur. Для Catalina все еще будут использоваться kernel extensions, а для Big Sur контейнеры и кластеры Kubernetes будут использовать уже Apple API.

2. Улучшения работы с контейнерами и движком Kubernetes

Теперь утилита vctl может выполнять команду vctl login для постоянного логина в реестр контейнера без необходимости писать полный ULR-путь при выполнении pull для образа. Также теперь можно развертывать локальные кластеры Kind на Kubernetes. В дополнение к поддержке kind, vctl создает docker-совместимый сокет для kind без модификации за счет собственной имплементации containerd.

3. Поддержка DirectX 11 и OpenGL 4.1

Workstation 16 поддерживает запуск игр и приложений с Direct3D версии 11 (он же DirectX 11) или OpenGL 4.1. Пользователи могут выделить до 8 ГБ vRAM для гостевой ОС (для этого сама виртуальная машина должна иметь 16 ГБ или больше оперативной памяти).

Fusion 12 Player и Fusion 12 Pro поддерживают устройства eGPU. За счет это требовательные к графике задачи можно перенести с интегрированного или дискретного GPU на внешнюю графическую карту.

5. Установка из Recovery Partition с использованием APFS

Теперь была добавлена поддержка APFS для установки macOS из раздела Recovery Partition, чтобы можно было быстро разворачивать гостевые ОС Mac.

Теперь поддерживаются соединения с ESXi 7 и vCenter 7 для управления виртуальными машинами, включая их перемещение между хостами и совместимость с инфраструктурой виртуальных ПК. Это доступно только в Pro-версиях.

7. Движок рендеринга графики в песочнице

Теперь есть новая функция Sandbox Renderer, которая позволяет отделить виртуальный графический движок, дав ему пониженные привилегии, что делает платформы Fusion и Workstation более безопасными.

8. Улучшенные специальные возможности

Теперь продукт соответствует стандарту VPAT Section 508 для лиц с ограниченными возможностями.

Теперь в Fusion поддерживаются виртуальные устройства USB 3.1, их можно пробрасывать в виртуальные машины с полной поддержкой драйверов. Ну и в целом работа с USB теперь сделана по-человечески. Кроме того, было сделано множество улучшений в плане производительности, безопасности, а также исправлено много багов.

Пользователи, купившие VMware Fusion 11.5 или VMware Fusion 11.5 Pro после 15 июня, получат бесплатный ключ на Fusion 12. Доступность продукта ожидается уже в самое ближайшее время.

На днях компания VMware сделала анонс новых версий настольных платформ виртуализации Workstation 16 и Fusion 12. Напомним, что их обновления были анонсированы в продолжение технологических превью Workstation Tech Preview 20H1 (первая половина 2020 года) и Fusion Tech Preview 20H1. Сегодня мы поговорим о новых возможностях VMware Workstation 16.

С выходом новых версий поменялась и лицензионная политика. Теперь нет издания Standard, остались только Pro-версия и плеер. За $99 существующие пользователи могут переехать на новые версии Fusion Pro и Workstation Pro:

Стоимость новой лицензии для обоих продуктов стала $199 - это несколько дороже старых стандартных версий (особенно Fusion по $79), но вроде как это теперь Pro-версия для обеих платформ. Она стала дешевле для Workstation и дороже для Fusion.

Давайте теперь посмотрим, что нового появилось в VMware Workstation 16:

1. Поддержка контейнеров и Kubernetes

Для разработчиков, использующих контейнеры, появилась новая утилита командной строки - vctl. Ранее уже доступная в Fusion, она позволяет пользователям выполнять операции push, pull, build и run для образов OCI, а также развертывать локальные кластеры Kind на Kubernetes.

В дополнение к поддержке kind, vctl создает docker-совместимый сокет для kind без модификации контейнера за счет собственной имплементации containerd.

Также данная функция будет доступна и с Workstation Player.

Workstation 16 поддерживает запуск игр и приложений с Direct3D версии 11 (он же DirectX 11) или OpenGL 4.1. Пользователи могут выделить до 8 ГБ vRAM для гостевой ОС (для этого сама виртуальная машина должна иметь 16 ГБ или больше оперативной памяти).

Теперь поддерживаются соединения с ESXi 7 и vCenter 7 для управления виртуальными машинами, включая их перемещение между хостами и совместимость с инфраструктурой виртуальных ПК. Это доступно только в Pro-версиях.

4. Темная версия интерфейса

Теперь в Workstation 16 есть темная тема Dark Mode UI, доступная как в Pro, так и в Player. Эта версия отлично дополняет темную тему Windows 10 билд 2004.

5. Движок рендеринга графики в песочнице

Теперь есть новая функция Sandbox Renderer, которая позволяет отделить виртуальный графический движок, дав ему пониженные привилегии, что делает платформы Fusion и Workstation более безопасными.

На Workstation 16 для Linux теперь появилась поддержка Vulkan API. Теперь рендер может использовать DirectX 10.1 и OpenGL 3.3 даже на базе интегрированной карты Intel GPU.

7. Улучшенные специальные возможности

Теперь продукт соответствует стандарту VPAT Section 508 для лиц с ограниченными возможностями.

Теперь в Workstation поддерживаются виртуальные устройства USB 3.1, их можно пробрасывать в виртуальные машины с полной поддержкой драйверов. Кроме того, было сделано множество улучшений в плане производительности, безопасности, а также исправлено много багов.

Пользователи, купившие VMware Workstation 15.5 Pro или Workstation 15.5 после 15 августа, получат бесплатный ключ на Workstation 16. Доступность продукта ожидается уже в самое ближайшее время.

Недавно компания VMware опубликовала документ "VMware vSphere Performance with Intel Optane Persistent Memory in Memory Mode - Balanced Profile", в котором рассмотрены различные аспекты тестирования производительности постоянной памяти Intel Optane, которая работает в новом режиме Balanced Profile.

Напомним, что Intel Optane DC persistent memory (DCPMM) - эта память не такая быстрая как DRAM и имеет бОльшие задержки, но они все равно измеряются наносекундами. При этом данная память позволяет иметь ее большой объем на сервере, что существенно повышает плотность ВМ на одном хосте.

Модули DCPMM изготавливаются под разъем DDR4 и доступны планками по 128, 256 и 512 ГБ. В одной системе может быть до 6 ТБ памяти DCPMM. Платформа VMware vSphere 6.7 EP10 и более поздние версии поддерживают память Intel Optane persistent memory 100 series (она же Intel Optane PMem) со вторым поколением процессоров Intel Xeon Scalable в режимах App Direct и Memory.

В указанном документе рассматривается производительность данной памяти в новом режиме Balanced Profile для конфигурации BIOS, который впервые появился в процессорах Intel этой серии в целях повышения производительности. За счет данного режима производительность памяти увеличилась в 1.75 раза, как показано на картинке по результатам тестов:

Об остальном можно узнать из упомянутого выше документа.

Это гостевой пост нашего спонсора - сервис-провайдера ИТ-ГРАД, предоставляющего виртуальные машины из облака в аренду. Агенты Veeam Agents for Microsoft Windows и for Linux – это программы, входящие в экосистему решений Veeam. Они необходимы для резервного копирования и восстановления данных с физических устройств – серверов, рабочих станций, ноутбуков и другого поддерживаемого оборудования.

Некоторое время назад мы писали об анонсе новой версии платформы для виртуализации и доставки настольных ПК и приложений VMware Horizon 8. Буквально через несколько дней компания VMware объявила о доступности для скачивания этого продукта, а также подробно рассказала обо всех его новых возможностях. Сделаем это и мы...

На сайте проекта VMware Labs появился еще один интересный виртуальный модуль (Virtual Appliance) - утилита Software-Defined Data Center Skywalk. С помощью нее администраторы распределенной инфраструктуры виртуальных датацентров могут организовать VPN-сеть между ними и синхронизировать политики распределенных сетевых экранов.

Обычно работа через интерфейсы консолей или API в разных датацентрах VMC SDDC требует установления отдельных VPN-соединений. Утилита SDDC Skywalk позволяет автоматически обнаружить, зарегистрировать и подключить VPN между датацентрами VMware vCloud в один клик.

Также посредством данной утилиты политики Distributed Firewall (DFW) для выбранных сервисов автоматически синхронизируются с онпремизного датацентра (локальный NSX-T) в облако с минимальным участием пользователя.

Скачать SDDC Skywalk можно по этой ссылке. Инструкция по использованию доступна здесь.

Четыре года назад мы публиковали табличку, которая показывает соответствие билдов различных продуктов VMware их официальным версиям (а до этого мы публиковали табличку 6 лет назад).

С тех пор много чего изменилось, в том числе добавились новые продукты, поэтому ниже таблица с нужными ссылками для соответствующих продуктов и датами релизов:

Все перечисленные ссылки агрегированы в KB 1014508.

Некоторые из вас знают, что есть такое решение VMware vRealize Network Insight (vRNI), которое предназначено для мониторинга и защиты сетевой инфраструктуры виртуальной среды VMware vSphere.

Администраторам виртуальной инфраструктуры часто приходится делать копии различных ее управляющих компонентов, в том числе vRNI. Сейчас VMware рекомендует делать резервную копию конфигурации vRNI на уровне всей виртуальной машины (см. KB 55829). Рекомендуется выключить ВМ с vRNI, скопировать ее целиком, а потом включить снова - это единственный поддерживаемый способ на данный момент.

Martijn Smit опубликовал интересный пост о том, что на самом деле у vRNI есть способ резервного копирования и восстановления конфигурации через API, для которого есть специальный API endpoint по пути /settings/backup:

Если посмотреть внутрь, то там можно увидеть вполне работоспособный механизм бэкапа конфигурации vRNI:

Используя API endpoint /api/ni/settings/backup, вы можете создать резервную копию конфигурации vRNI и перенаправить ее по SSH или FTP на бэкап-сервер в виде tar-файла со следующим содержимым:

Большинство этих файлов человекочитаемы, если вы откроете их в текстовом редакторе. Там находятся копии настроек приложений, объектов pinboards, data sources, сохраненный поиск, системные настройки (Syslog, SMTP и т.п.), пользовательские конфигурации и многое другое.

Для работы с конфигурациями vRNI через API Martijn сделал модуль PowervRNI. Вот пример использования сценария резервного копирования:

PS # $backupSchedule = @{ "enable" = $true; "schedule_period" = "DAILY"; "minute" = 30; "hour" = 12; "day_of_week" = 1 }

  PS # $sshServer = @{ "server_address" = "my-ssh-server"; "port" = 22; "username" = "vrni-backups"; "password" = "VMware1!"; "backup_directory" = "/home/vrni-backups/"; "backup_file_name" = "vrni-backup.tar" }

PS # Set-vRNIBackup -RunNow $true -BackupSchedule $backupSchedule -SSHServer $sshServer
config_filter

  -------------

  @{applications=True; snmp=True; smtp=True; data_sources=True; analytics_thresholds=True; analytics_outliers=True; events=True; syslog=True; pinboards=True; ldap=True; vidm=True; user_data=True; user_preferences=True; physical_subnet_v…
PS # Get-vRNIBackupStatus
status status_updated_timestamp

  ------ ------------------------

  IN_PROGRESS 1595425176027 Smit

  PowervRNI
  

Переменная $backupSchedule содержит в себе расписание резервного копирования, в примере выше она установлена на 12:30 (формат 24h) каждого дня.

Источник.

На днях компания VMware выпустила обновление своего решения для мониторинга и защиты сетевой инфраструктуры виртуальной среды VMware vRealize Network Insight 5.3. О версии vRNI 5.1, анонсированной на VMworld 2019, мы писали вот тут.

Напомним, что это решение позволяет системным и сетевым администраторам (а также администраторам информационной безопасности) наблюдать за сетевым взаимодействием в рамках виртуальной инфраструктуры и предпринимать действия по ее защите.

Давайте посмотрим, что нового появилось в vRNI 5.3:

1. Новые возможности VMware SD-WAN (бывшие технологии VeloCloud)

Появилась новая диаграмма Flow visibility, показывающая распределение потоков, рождающихся на уровне SD-WAN Edge и дальше уходящих на уровень интернета:

Также можно выставить фильтр на уровне клиентских IP (чтобы видеть трафик конкретных клиентов), а также на уровнях Flow Path, приложения и Destination Edge.

Кроме этого, появилась диаграмма End-to-end путей в разрезе потоков и конфигураций:

Теперь можно визуализовать путь трафика для конкретного потока между конечными точками клиентов (flow based). А еще можно сделать диаграмму и на уровне сетевой конфигурации, которая у вас настроена (config based).

2. Интеграции с NSX-T

В этом плане появились дополнительные возможности по измерению различных типов задержек в сети (latency): vNIC to vNIC, pNIC to vNIC, VTEP to VTEP.

Помимо этого, была добавлена поддержка продуктов NSX-T 3.0 и NSX-T в облаке VMware Cloud on AWS, а также поддержка TCP Retransmission (отслеживание приложений, испытывающих проблемы с повторной передачей TCP-трафика в случае неудачной первой доставки).

Вот тут показаны TCP retransmissions на базе потоков:

3. Улучшение поддержки сетевого оборудования

Была добавлена поддержка устройств HP Enterprise FlexFabric 5940 и FlexNetwork 10500. Также добавили коммутаторы Mellanox серий SN2100 и SN2410.

4. Прочие улучшения

В целом, было сделано множество небольших улучшений и нововведений, вот основные из них:

• Важные сообщения от устройств Arista соотносятся с самим устройством (Port down, проблемы Fan & PSU и другое)
• Метрика Quality of Experience на уровне туннеля для SD-WAN Edge.
• На дэшборде SDDC теперь есть представление VMware Cloud on AWS Direct Connects.
• Security Planner был оптимизирован для больших инсталляций и теперь обрабатывает большие объемы данных корректно.
• Виртуальный модуль Collector теперь может обрабатывать до 35 000 виртуальных машин на одном сервере vCenter.

Скачать VMware vRealize Network Insight 5.3 можно по этой ссылке. Release Notes доступны тут.

Некоторые функции vCloud Director (VCD) по работе с виртуальными машинами по-прежнему недоступны через стандартные командлеты PowerCLI, поэтому к ним необходимо обращаться через VCD API.

Jon Waite в своем блоге опубликовал PowerCLI-сценарий, с помощью которого можно обратиться к VCD API и увеличить размер загрузочного диска ВМ. Надо сказать, что при подобного рода манипуляциях (как увеличение, так и уменьшение диска) всегда есть риск потери данных, поэтому обязательно сделайте резервную копию.

Собственно, сам скрипт (исходник доступен тут):

Комментарии от автора:

После выполнения сценария нужно будет, само собой, расширить соответствующий раздел гостевой системы. Современные версии Windows и Linux могут раскатывать существующий раздел на весь размер физического устройства даже без перезагрузки машины.

Пример использования сценария:

PS /> $VM = Get-CIVM -Name 'TestVM01'
PS /> $VM | Update-CIVMBootDisk -NewSizeMB 2048
Disk resize for VM TestVM01 submitted successfully.

При описании новых возможностей VMware vSphere 7 мы рассказывали о функциях платформы, появившихся в результате приобретения VMware компании Bitfusion. Эти возможности позволяют оптимизировать использование графических процессоров GPU в пуле по сети, когда vGPU может быть частично расшарен между несколькими ВМ. Это может применяться для рабочих нагрузок задач AI/ML (например, для приложений, использующих PyTorch и/или TensorFlow).

Все это позволяет организовать вычисления таким образом, что хосты ESXi с аппаратными модулями GPU выполняют виртуальные машины, а их ВМ-компаньоны на обычных серверах ESXi исполняют непосредственно приложения. При этом CUDA-инструкции от клиентских ВМ передаются серверным по сети.

Технология эта называлась FlexDirect, теперь это продукт vSphere Bitfusion:

На днях это продукт стал доступен для загрузки и использования в онпремизных инфраструктурах.

Ключевыми особенностями vSphere Bitfusion являются:

• Возможность динамической привязки GPU к любой машине в датацентре, по аналогии с тем, как вы привязываете к ней хранилище.
• Возможность использования ресурсов GPU как одной машине, так и разделения его между несколькими. При этом администратор может выбрать, какой объем Shares выделить каждой из машин, то есть можно приоритизировать использование ресурсов GPU между потребителями.
• Возможность предоставления доступа как по TCP/IP, так и через интерфейс RDMA, который может быть организован как подключение Infiniband или RoCE (RDMA over Converged Ethernet). О результатах тестирования такого сетевого взаимодействия вы можете почитать тут.
• Передача инструкций к серверным машинам и обратно на уровне CUDA-вызовов. То есть это решение не про передачу содержимого экрана как VDI, а про высокопроизводительные вычисления.
• Прозрачная интеграция - с точки зрения приложений менять в инфраструктуре ничего не нужно.

Для управления инфраструктурой доставки ресурсов GPU используется продукт vSphere Bitfusion Manager, который и позволяет гибко распределять ресурсы между потребителями. Раньше он выглядел так:

Теперь же он интегрирован в vSphere Client как плагин:

Архитектура Bitfusion позволяет разделить виртуальную инфраструктуру VMware vSphere на ярусы: кластер GPU, обсчитывающий данные, и кластер исполнения приложений пользователей, которые вводят данные в них и запускают расчеты. Это дает гибкость в обслуживании, управлении и масштабировании.

С точки зрения лицензирования, решение vSphere Bitfusion доступно как аддон для издания vSphere Enterprise Plus и лицензируется точно так же - по CPU. Для других изданий vSphere, увы, этот продукт недоступен.

Скачать vSphere Bitfusion можно по этой ссылке. Документацию можно найти на странице продукта. Также Bitfusion интегрирован с инфраструктурой vSphere with Kubernetes, о чем можно почитать вот в этом документе.

Это спонсорский пост компании ИТ-ГРАД, предоставляющей услугу аренды виртуальных машин из облака по модели IaaS. Полгода назад мы запустили в коммерческую эксплуатацию сервис резервного копирования и восстановления данных, построенный на базе решения компании Акронис Инфозащита. Чтобы им могли воспользоваться компании самого разного масштаба, мы реализовали единое решение в рамках облачного направления МТС для клиентов «ИТ-ГРАД» и #CloudMTS. Пришло время подвести некоторые промежуточные итоги и поделиться...

Вы разобрались в преимуществах гибридного облака, просчитали экономическую эффективность, определили базовые потребности и приняли решение о его внедрении. Что дальше? Построим дорожную карту и выберем архитектуру, определим зоны ответственности и распределим обязанности. Саммари по каждой задаче в нашей статье.

Осенью 2018 года мы писали об утилите True SSO Diagnostic Utility, с помощью которой можно проводить диагностику сертификатов Horizon View Enrollment Server (ES), настроек Active Directory PKI и свойств служб сертификации Enterprise Certificate Authorities (CA).

На днях же VMware на сайте Labs выпустила еще одно средство - True SSO Configuration Utility, предназначенное уже не только для диагностики, но и настройки сертификатов True SSO для использования с View Connection Server, Enrollment Server и вашим центром сертификации (Certificate Authoriry) и Active Directory.

Для корректной работы утилиты вам понадобятся следующие компоненты инфраструктуры:

• VMware Horizon Connection Server
• VMware Horizon Enrollment Server
• Microsoft Certificate Authority
• Workspace One Access

Чтобы начать использовать True SSO Configuration Utility нужно лишь запустить ее на Horizon Connection Server.

Видео установки и первоначальной настройки можно скачать по этой ссылке, а само средство True SSO Configuration Utility доступно для загрузки здесь.

Как вы знаете, компания VMware выпустила платформу VMware vSphere 7 в начале апреля этого года после громкого анонса месяцем ранее. В конце апреля VMware опубликовала интересную новость с результатами исследования среди пользователей, которые тестировали бета-версию vSphere 7 и потом прошли опрос, где одним из вопросов был "Почему бы вы хотели обновиться?". Собственно, вот его результаты...

Компания VMware выпустила на днях обновление одного из самых главных своих документов - "Performance Best Practices for VMware vSphere 7.0". Мы не зря в заголовке назвали это книгой, так как данный документ представляет собой всеобъемлющее руководство, где рассматриваются все аспекты поддержания и повышения производительности новой версии платформы VMware vSphere 7.0 и виртуальных машин в контексте ее основных возможностей.

На 96 листах очень подробно описаны лучшие практики для администраторов платформы и гостевых ОС:

Вот все корневые разделы этого руководства:

• Persistent memory (PMem), including using PMem with NUMA and vNUMA
• Getting the best performance from NVMe and NVME-oF storage
• AMD EPYC processor NUMA settings
• Distributed Resource Scheduler (DRS) 2.0
• Automatic space reclamation (UNMAP)
• Host-Wide performance tuning (aka, “dense mode”)
• Power management settings
• Hardware-assisted virtualization
• Storage hardware considerations
• Network hardware considerations
• Memory page sharing
• Getting the best performance from iSCSI and NFS storage
• vSphere virtual machine encryption recommendations
• Running storage latency-sensitive workloads
• Running network latency-sensitive workloads
• Network I/O Control (NetIOC)
• DirectPath I/O
• Microsoft Virtualization-Based Security (VBS)
• Selecting virtual network adapters
• vCenter database considerations
• The vSphere HTML5 Client
• VMware vSphere Lifecycle Manager
• VMware vSAN performance

Для администраторов больших инфраструктур, активно внедряющих новые технологии (например, хранилища с Persistent Memory или DRS 2.0), появилось много всего нового и интересного, поэтому с книжкой нужно хотя бы ознакомиться по диагонали, останавливаясь на новых функциях ESXi 7 и vCenter 7.

Скачать PDF-версию "Performance Best Practices for VMware vSphere 7.0" можно по этой ссылке.

На днях компания VMware объявила о выпуске обновленного решения VMware Cloud Director Availability 4.0, которая предназначена для создания резервной инфраструктуры в одном из публичных облаков сервис-провайдеров на основе VMware vCloud Director (так называемая услуга Disaster-Recovery-as-a-Service, DRaaS).

Предыдущая версия VMware vCloud Availability 3.5 вышла в конце прошлого года, давайте посмотрим, что теперь нового в VMware Cloud Director Availability 4.0 (обратите внимание на изменение названия). Daniel Paluszek написал отличный обзор новой версии VCDA 4.0, выдержки из которого мы и приведем ниже.

Новые возможности и улучшения сосредоточены в трех областях:

Блок Service Operation

В плане данных функций здесь появилось множество новых возможностей, таких как:

• Визуализация используемых ресурсов (CPU, память, сеть и диск) как для провайдера, так и для клиентов облака. Для провайдера это выглядит так:

Для клиентов так:

• Open API для отслеживания использования трафика и потребления дисковых ресурсов на базе организации или клиента:

Провайдер может также экспортировать статистики на нужном уровне гранулярности. Подробнее можно узнать об этом на VMware Code.

• Возможность экспорта логов VCDA 4.0 в любой syslog collector (например, vRealize Log Insight). Настройки отправки событий можно кастомизировать:

Блок Service Operation

• Функция SLA Profiles - это наборы настроек, которые обеспечивают заданный уровень обслуживания защищаемых виртуальных машин (например, требования к контрольной точке восстановления RPO на приемнике):

• Stored Instances - это хранимые во времени состояния виртуальных машин, которые можно оставлять на хранилище согласно политикам, а можно сохранить отдельные инстансы в нужной точке:

• Горячее изменение размера дисков - начиная с vSphere 7, можно изменять размер дисков ВМ без разрушения рабочего процесса репликации.

Блок Platform Integration

• Обновленный пользовательский интерфейс. Почти все разделы претерпели позитивные изменения - как с точки зрения визуальной составляющей, так и структурно:

• Интеграция c VMware Cloud Director (VCD). Теперь операции VCD 10.1 и VCDA 4.0 интегрированы напрямую через меню действий:

Скачать VMware Cloud Director Availability 4.0 можно по этой ссылке.

Не так давно мы писали о той функциональности, которой уже нет в VMware vSphere 7, а также о том, какие фичи находятся в состоянии Deprecated. Это значит, что они пока еще есть в текущем релизе, но уже точно будут отсутствовать в следующей версии платформы. Одной из таких фич стала аутентификация Integrated Windows Authentication (IWA), она же "встроенная проверка подлинности Windows".

IWA - это механизм, который позволяет аутентифицироваться через встроенную аутентификацию ОС в сервисах сервера vCenter, который подключен к домену Microsoft Windows Active Directory (AD).

Депрекация этого механизма в vSphere 7 означает, что вы все еще можете смигрировать настройки IWA при апгрейде vCenter, а также развернуть его с нуля. После этого IWA позволит пользователям аутентифицироваться на vCenter.

Почему поддержка IWA уходит из vSphere? Ответ прост - раньше vCenter работал на платформе Windows как приложение для этой ОС с соответствующими возможностями доступа к ее функциям и сервисам AD, теперь же это виртуальный модуль (vCenter Server Appliance), который работает на базе Linux (а точнее Photon OS) и не может быть нативной частью домена.

Какие альтернативные способы можно использовать для аутентификации в домене AD:

• С использованием LDAP. Контроллеры домена предоставляют сервисы LDAP, которые может использовать vCenter.
• С использованием нового механизма Identity Federation (появился в версии vSphere 7). Эту возможность можно применять для соединения vCenter к Active Directory Federation Services (ADFS) с использованием протоколов OAUTH2 и OIDC.

VMware также объясняет, что присоединение vCenter к инфраструктурам, которые зависят от этого vCenter, может потенциально создать проблемы зависимостей: контроллер домена зависит от включенного в него vCenter как виртуальная машина, а vCenter зависит от домена как его член.

Еще одна причина депрекации IWA - "политическая". Некоторые крупные организации имеют очень строгие правила для администраторов по заведению новых систем в домен и обслуживанию его жизненного цикла. Нередка ситуация, когда администраторы vSphere, которые имеют право включать vCenter в домен, получают бан аккаунта от безопасников, которые отключают его за неактивность.

Аналогичный подход к депрекации IWA компания VMware сделала и для серверов ESXi - они будут поддерживать взаимодействие с доменом на тех же условиях, что и vCenter. Правами доступа к хост-серверам ESXi можно управлять через стандартный механизм Role-Based Access Controls (RBAC) на сервере vCenter.

Поэтому по совокупности причин было решено отказаться от IWA в пользу более гибкого механизма LDAP/LDAPS.

Кстати, если вы видите в логе контроллера домена событие Event 2889 при использовании IWA, то обратитесь к статье KB 78644.

Чтобы переключиться на новый способ аутентификации нужно вывести серверы из домена по старой схеме и включить интеграцию по новой. Вот, например, видео о том, как смигрировать аутентификацию с LDAP на более защищенный протокол LDAPS:

Перед переходом всей инфраструктуры на новый способ аутентификации нужно обязательно протестировать сам метод в тестовой инфраструктуре. Ну а когда будете делать перевод продакшена, не забудьте сделать снапшот сервера vCenter - если что на него можно будет откатиться с сохранением старых настроек.

Не так давно компания VMware объявила о выходе новой версии решения Cloud Director 10.1, предназначенного для создания интегрированной платформы для сервис-провайдеров, предоставляющих виртуальные машины в аренду. О прошлой версии vCloud Director 10.0 мы писали осенью прошлого года вот тут. Обратите внимание, что из слова vCloud исчезла буква "v", и теперь продукт называется Cloud Director.

Давайте посмотрим, что нового появилось в Cloud Director 10.1:

• App Launchpad - это средство, построенное на базе решения купленной компании Bitnami. Оно позволяет сервис-провайдерам развертывать для пользователей различные приложения, в том числе кастомные, чтобы дать им единое решение для полного цикла предоставления сервиса IaaS<>SaaS. Более подробно об этом продукте написано здесь.

• Container Service Extension (CSE) 2.6 - теперь у пользователей облаков появится еще больше полезных средств для развертывания приложений в контейнерах Kubernetes. Эта версия дает не только консольные инструменты, но и визуализует некоторые вещи по инфраструктуре контейнеров в интерфейсе.
• Object Storage Extension (OSE) 1.5 - за счет этого расширения пользователи получают S3-совместимый API, с помощью которого можно использовать хранилища Cloudian S3, в том числе на платформе Dell ECS EX.

• Terraform VMware Cloud Director Provider 2.8 - с помощью этого плагина облачные провайдеры могут развертывать инфраструктуру из заранее заскриптованных сценариев для виртуальных датацентров (Infrastructure-as-code). Здесь появилась поддержка новой версии Cloud Director.
• Tenant App 2.4 - средствами этого виртуального модуля можно потребление ресурсов клиентами облака и стоимость их обслуживания (прайсинг и биллинг). В новой версии этого средства теперь есть более детальная поддержка сетевого стека NSX, чтобы учитывать потребление ресурсов сети клиентами и, например, чарджить их на базе предоставляемой полосы.
• NSX-T Migration Tool - это средство для переезда с платформы NSX-V. Для виртуальных машин во время миграции используется vMotion, поэтому процесс переезда возможен без простоя сервисов. Более подробно об этом написано тут.
• Улучшения NSX-T - здесь появилось очень много улучшений. Теперь процесс развертывания не требует работы в нескольких экранах, появились улучшения IPSec, а также многое было сделано в плане безопасности и улучшения работы в различных топологиях сети.
• Encryption as a service - теперь сервис-провайдеры могут использовать шифрование vSphere Encryption. Для этого вам потребуется развернуть инфраструктуру key management server (KMS) на базе партнерских решений, таких как Fortanix или Dell CloudLink.

Более подробно о VMware Cloud Director 10.1 можно почитать в Release Notes. Основная страница для сервис-провайдеров находится тут.

На сайте проекта VMware Labs появилась очередная полезность - набор утилит Horizon Cloud Pod Architecture Tools. Он предназначен для того, чтобы улучшить исполнение команд назначения глобальных прав доступа.

Как знают администраторы VMware Horizon, инфраструктура распределенных узлов cloud pod architecture (CPA) имеет в своем составе команды lmvutil, которые позволяют управлять назначением глобальных прав к базе данных через интерфейс командной строки. Теперь для lmvtools сделали обертку (wrapper), которая позволяет вводить пароль только один раз и далее исполнять команды управления назначением прав. Также теперь можно экспортировать всю конфигурацию сайта, мапинги сайт-узел (site-pod), глобальные назначения (в том числе пользователей и пулов), настройки home site overrides, а также резервную копию назначений прав в файл.

Сам command builder имеет встроенный механизм для того, чтобы можно было убрать устаревшие глобальные назначения пользователей (если из больше нет в Active Directory) и назначения домашнего сайта. В этом плане в утилитах есть следующие особенности:

• Опция генерации отчета в CSV со всеми пулами узлов и их ассоциированными назначениями прав.
• Исполнитель команд lmvtools позволяет автоматизировать выполнение команд из файла без необходимости повторять пароль для каждой команды.

Утилиты можно использовать для следующих сценариев:

• Бэкап и импорт глобальных назначений прав для любых версий Horizon 7.x.
• Данные, экспортированные из узлов с Horizon версий 7.x, могут быть импортированы на любую более высокую версию (например, в другой датацентр).
• Генерация отчета в формате CSV о глобальных назначениях прав и ассоциированной информации о пулах. Отчет выглядит следующим образом:

• Шаблон команд по назначению глобальных прав может быть создан с использованием стандартной утилиты lmvutil. Это позволяет импортировать данные назад, в любое окружение Horizon.
• Автоматическая зачистка устаревших данных пользователей. Пользователи, которых нет в AD при импорте игнорируются - это позволяет получить только актуальных пользователей и их права на выходе работы утилиты.
• Экспорт локального или глобального файла AD LDS LDIF.

Недавно мы писали о новых возможностях платформы виртуализации VMware vSphere 7, а также функциональности нового механизма динамического распределения нагрузки VMware DRS 2.0. Среди новых возможностей DRS мы упоминали про функции Assignable Hardware, которые позволяют назначить профили устройств PCIe с поддержкой Dynamic DirectPath I/O или NVIDIA vGPU для первоначального размещения виртуальных машин в кластере.

Сегодня мы поговорим об этой технологии в целом. Ранее виртуальные машины, использовавшие технологии DirectPath I/O или vGPU, привязывались к физическому адресу устройства, который включал в себя адрес расположения устройства на конкретной шине PCIe конкретного хоста ESXi. Это делало невозможным использование такой ВМ на других серверах кластера, что, конечно же, делало невозможным и работу технологий HA и DRS, которые являются критически важными в современных датацентрах.

Таким образом, технология Assignable Hardware позволяет отделить виртуальную машину от конкретного устройства и дать ей возможность быть запущенной на другом хосте ESXi с таким же устройством (или даже другим, но поддерживающим определенный набор функций).

Теперь при настройке виртуальной машины у вас есть выбор одного из следующих вариантов для устройства PCIe:

• DirectPath I/O (legacy-режим, без интеграции с HA и DRS)
• Dynamic DirectPath I/O
• NVIDIA vGPU

После того, как вы выберете нужный профиль оборудования, механизм DRS сможет разместить машину на хосте ESXi с поддержкой нужных функций для ВМ.

На скриншоте выше, во второй опции Select Hardware, также есть лейбл "GPGPU example" - это возможность задать определенным устройствам метки таким образом, чтобы при выборе размещения ВМ использовались только устройства хостов с данными метками (при этом модели устройств могут отличаться, например, NVIDIA T4 GPU и RTX6000 GPU). Либо можно выбрать вариант использования только идентичных устройств.

Назначить метку можно во время конфигурации PCIe-устройств. В гифке ниже показано, как это делается:

При использовании NVIDIA vGPU для виртуальной машины выделяется только часть устройства. Поддержка горячей миграции vMotion для машин, использующих vGPU, уже была анонсирована в VMware vSphere 6.7 Update 1. Теперь эта поддержка была расширена, в том числе для DRS, который теперь учитывает профили vGPU.

Ну и в видео ниже вы можете увидеть обзор технологии Assignable Hardware: